Recent work has shown that fine-tuning large pre-trained language models on a collection of tasks described via instructions, a.k.a. instruction-tuning, improves their zero and few-shot generalization to unseen tasks. However, there is a limited understanding of the performance trade-offs of different decisions made during the instruction-tuning process. These decisions include the scale and diversity of the instruction-tuning benchmark, different task sampling strategies, fine-tuning with and without demonstrations, training using specialized datasets for reasoning and dialogue, and finally, the fine-tuning objectives themselves. In this paper, we characterize the effect of instruction-tuning decisions on downstream task performance when scaling both model and benchmark sizes. To this end, we create OPT-IML Bench: a large benchmark for Instruction Meta-Learning (IML) of 2000 NLP tasks consolidated into task categories from 8 existing benchmarks, and prepare an evaluation framework to measure three types of model generalizations: to tasks from fully held-out categories, to held-out tasks from seen categories, and to held-out instances from seen tasks. Through the lens of this framework, we first present insights about instruction-tuning decisions as applied to OPT-30B and further exploit these insights to train OPT-IML 30B and 175B, which are instruction-tuned versions of OPT. OPT-IML demonstrates all three generalization abilities at both scales on four different evaluation benchmarks with diverse tasks and input formats -- PromptSource, FLAN, Super-NaturalInstructions, and UnifiedSKG. Not only does it significantly outperform OPT on all benchmarks but is also highly competitive with existing models fine-tuned on each specific benchmark. We release OPT-IML at both scales, together with the OPT-IML Bench evaluation framework.

This paper proposes a deep recurrent Rotation Averaging Graph Optimizer (RAGO) for Multiple Rotation Averaging (MRA). Conventional optimization-based methods usually fail to produce accurate results due to corrupted and noisy relative measurements. Recent learning-based approaches regard MRA as a regression problem, while these methods are sensitive to initialization due to the gauge freedom problem. To handle these problems, we propose a learnable iterative graph optimizer minimizing a gauge-invariant cost function with an edge rectification strategy to mitigate the effect of inaccurate measurements. Our graph optimizer iteratively refines the global camera rotations by minimizing each node's single rotation objective function. Besides, our approach iteratively rectifies relative rotations to make them more consistent with the current camera orientations and observed relative rotations. Furthermore, we employ a gated recurrent unit to improve the result by tracing the temporal information of the cost graph. Our framework is a real-time learning-to-optimize rotation averaging graph optimizer with a tiny size deployed for real-world applications. RAGO outperforms previous traditional and deep methods on real-world and synthetic datasets. The code is available at https://github.com/sfu-gruvi-3dv/RAGO

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

现有的广告点击率（CTR）预测模型主要取决于行为ID功能，这些功能是根据历史用户AD交互所学习的。然而，依赖历史用户行为的行为ID功能是不可行的，可以在没有以前与用户互动的情况下描述新广告。为了克服对新广告建模的行为ID特征的局限性，我们利用广告中的视觉内容来提高CTR预测模型的性能。具体来说，我们根据其视觉内容将每个广告映射到一组视觉ID中。这些视觉ID进一步用于生成可视觉嵌入，以增强CTR预测模型。我们将视觉ID的学习分为有监督的量化问题。由于缺乏广告中商业图像的类标签，因此我们利用图像文本描述作为监督，以优化图像提取器以生成有效的视觉ID。同时，由于硬量化是不可差异的，因此我们软化量化操作以使其支持端到端网络培训。将每个图像映射到视觉ID之后，我们根据过去积累的历史用户AD交互学习每个视觉ID的嵌入。由于视觉ID嵌入仅取决于视觉内容，因此它概括为新广告。同时，嵌入视觉ID补充了AD行为ID嵌入。因此，它可以大大提高CTR预测模型的性能，以前依赖于积累了丰富用户行为的新广告和广告的行为ID功能。将视觉ID嵌入在BAIDU在线广告的CTR预测模型中后，AD的平均CTR提高了1.46％，总费用增加了1.10％。

通信技术的进步和智能手机的普及促进了视频广告的蓬勃发展。百度是世界领先的搜索引擎公司之一，每天收到数十亿个搜索查询。如何将视频广告与用户搜索配对是百度视频广告的核心任务。由于模态差距，比传统查询对象检索和图像到图像搜索更具挑战性的查询性检索更具挑战性。传统上，查询到视频检索是通过查询到标题检索来解决的，当瓷砖的质量不高时，这是不可靠的。近年来，随着计算机视觉和自然语言处理的快速进展，基于内容的搜索方法变得有望在查询到视频检索中。受益于大规模数据集的预处理，一些基于跨模式关注的Visionbert方法在许多视觉语言任务中不仅在学术界而且在行业中都取得了出色的表现。然而，跨模式关注的昂贵计算成本使得在工业应用中进行大规模搜索是不切实际的。在这项工作中，我们提出了一个基于树的组合注意网络（TCAN），该网络最近在百度的动态视频广告平台上推出。它提供了一种实用的解决方案，可以在大规模查询到视频搜索中部署大量的跨模式关注。在启动基于树的组合注意网络之后，点击率提高了2.29 \％，转化率提高了2.63 \％。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

同时传输和反射可重构的智能表面（星际摩托车）是一种有前途的被动装置，通过同时传输和反映入射信号，从而有助于全空间覆盖。作为无线通信的新范式，如何分析星际轮胎的覆盖范围和能力性能变得至关重要，但具有挑战性。为了解决星际辅助网络中的覆盖范围和容量优化（CCO）问题，提出了多目标近端策略优化（MO-PPO）算法来处理长期利益，而不是传统优化算法。为了在每个目标之间取得平衡，MO-PPO算法提供了一组最佳解决方案，以形成Pareto前部（PF），其中PF上的任何解决方案都被视为最佳结果。此外，研究了为了提高MO-PPO算法的性能，两种更新策略，即基于动作值的更新策略（AVU）和基于损失功能的更新策略（LFUS）。对于AVU，改进的点是整合覆盖范围和容量的动作值，然后更新损失函数。对于LFU，改进的点仅是为覆盖范围和容量损失函数分配动态权重，而权重在每个更新时由最小值求解器计算出来。数值结果表明，调查的更新策略在不同情况下的固定权重优化算法优于MO优化算法，其中包括不同数量的样品网格，星轮的数量，星轮中的元素数量和大小星际船。此外，星际辅助网络比没有星际轮胎的传统无线网络获得更好的性能。此外，具有相同的带宽，毫米波能够提供比低6 GHz更高的容量，但覆盖率较小。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

Open-World实例细分（OWIS）旨在从图像中分割类不足的实例，该图像具有广泛的现实应用程序，例如自主驾驶。大多数现有方法遵循两阶段的管道：首先执行类不足的检测，然后再进行特定于类的掩模分段。相比之下，本文提出了一个单阶段框架，以直接为每个实例生成掩码。另外，实例掩码注释在现有数据集中可能很吵。为了克服这个问题，我们引入了新的正规化损失。具体而言，我们首先训练一个额外的分支来执行预测前景区域的辅助任务（即属于任何对象实例的区域），然后鼓励辅助分支的预测与实例掩码的预测一致。关键的见解是，这种交叉任务一致性损失可以充当误差校正机制，以打击注释中的错误。此外，我们发现所提出的跨任务一致性损失可以应用于图像，而无需任何注释，将自己借给了半监督的学习方法。通过广泛的实验，我们证明了所提出的方法可以在完全监督和半监督的设置中获得令人印象深刻的结果。与SOTA方法相比，所提出的方法将$ ap_ {100} $得分提高了4.75 \％\％\％\ rightarrow $ uvo设置和4.05 \％\％\％\％\％\％\ rightarrow $ uvo设置。在半监督学习的情况下，我们的模型仅使用30 \％标记的数据学习，甚至超过了其完全监督的数据，并具有5​​0 \％标记的数据。该代码将很快发布。

人类姿势估计旨在准确估计各种人类姿势。但是，现有的数据集通常遵循长尾巴的分布，而异常姿势仅占据一小部分，这进一步导致缺乏稀有姿势的多样性。这些问题导致当前姿势估计器的概括能力。在本文中，我们提出了一种简单而有效的数据增强方法，称为姿势转化（后部），以减轻上述问题。具体而言，我们建议姿势转化模块（PTM）创建具有多种姿势并采用姿势歧视者的新训练样本，以确保增强姿势的合理性。此外，我们提出姿势聚类模块（PCM）来测量姿势稀有性并选择“最稀有”姿势，以帮助平衡长尾分布。在三个基准数据集上进行的广泛实验证明了我们方法的有效性，尤其是在稀有姿势上。同样，我们的方法是有效且易于实施的，可以轻松地集成到现有姿势估计模型的训练管道中。